Skaling: Chinchilla's Exponents Meet Kaplan's Coupling
Skaling：以交互指数耦合模型尺寸与数据的缩放法则
🧭 缩放法则改进 · 计算最优预测
FAIR at Meta
引入交互指数耦合模型容量与数据，解决标准缩放法则在极端区间的预测偏差，MAPE 降低 1.5–3 倍
📌 工作参考价值（4 点）
- 小规模代理实验精准指导大规模训练：直接采用 Skaling 法则对搜索/推荐模型（如召回双塔、精排大模型）进行缩放预测，捕捉模型尺寸与数据量的交互效应，避免因独立假设导致在数据稀疏或过训练时的计算资源错配。
- 低成本外推最优配置：结合文中稀疏网格策略，用少量低计算量实验（约全网格的 1/10 计算量）即可准确外推更大规模下的 Loss 与最优参数比，适合业务中需快速评估多个模型尺度时的预算分配。
- Agent 微调与 RLHF 的 scaling 决策：在为下游任务微调 LLM Agent 时，可利用该法则预测不同基座大小与微调数据量组合的性能，帮助在预算内选取性价比最高的配置。
- 交互项设计思路可迁移：当推荐模型存在组件间的强耦合（如特征域数量与 embedding 维度的联合缩放），可在损失预测函数中显式引入耦合项，提升拟合效果，该方法具有通用性。